УДК 519.2:338 (075.8)           2012-06-12
ББК 60.6я73
О-66
Р е ц е н з е н т ы:
заместитель директора Института проблем управления РАН
д-р техн. наук, проф., чл.-кор. РАН Д.А. Новиков;
заведующий кафедрой
«Системы управления экономическими объектами»
Московского авиационного института
(Государственного технического университета)
д-р экон. наук, проф. В.Д. Калачанов
Орлов А. И.
Организационно-экономическое моделирование :
учебник : в 3 ч. / А. И. Орлов. — М. : Изд-во МГТУ
им. Н. Э. Баумана, 2012.
ISBN 978-5-7038-3276-9
Ч. 3 : Статистические методы анализа данных. —
623, [1] с. : ил.
ISBN 978-5-7038-3566-1
Изложены современные методы анализа статистических дан-
ных. Рассмотрены начала выборочных исследований и основные
задачи описания данных, оценивания и проверки гипотез, стати-
стические методы анализа числовых данных, многомерный стати-
стический анализ и статистические методы анализа динамики.
Приведены основные понятия теории статистического моделирова-
ния на примерах моделей экономики и управления, медицины, со-
циологии, демографии, истории, электротехники.
Материал учебника соответствует курсам лекций, которые
автор читает в МГТУ им. Н.Э. Баумана.
Для студентов и преподавателей вузов, слушателей институ-
тов повышения квалификации, структур второго образования и
программ МВА, инженеров различных специальностей, менедже-
ров, экономистов, социологов, научных и практических работни-
ков, чья деятельность связана с анализом данных.
ISBN 978-5-7038-3566-1 (ч. 3)
ISBN 978-5-7038-3276-9
© Орлов А. И., 2012
© Оформление. Издательство
МГТУ им. Н. Э. Баумана, 2012
УДК 519.2:338 (075.8)
ББК 60.6я73
О-66
3
Оглавление
Предисловие ................................................................................. 7
Введение ........................................................................................ 9
Часть I. Основные постановки задач анализа данных
Глава 1. Выборочные исследования ........................................ 37
1.1. Организация выборочных исследований......................... 37
1.2. Модели случайных выборок ............................................ 48
1.3. Доверительное оценивание вероятности ......................... 52
1.4. Примеры прикладных выборочных исследований ........ 57
1.5. Проверка однородности двух биномиальных выборок ... 64
Контрольные вопросы и задачи............................................... 70
Темы докладов, рефератов, исследовательских работ ......... 71
Литература ................................................................................ 72
Глава 2. Описание данных ....................................................... 73
2.1. Модели порождения данных ........................................... 73
2.2. Таблицы и диаграммы ...................................................... 84
2.3. Выборочные характеристики распределения ................. 87
2.4. Эмпирическая функция распределения .......................... 91
2.5. Непараметрические оценки плотности ........................... 94
Контрольные вопросы и задачи .............................................. 100
Темы докладов, рефератов, исследовательских работ ........ 101
Литература ................................................................................ 101
Глава 3. Оценивание ................................................................... 103
3.1. Методы оценивания параметров ..................................... 103
3.2. Одношаговые оценки ....................................................... 118
3.3. Асимптотика решений экстремальных статистических
задач ................................................................................... 128
3.4. Робастность статистических процедур ........................... 138
3.5. Оценивание для сгруппированных данных .................... 142
Контрольные вопросы и задачи .............................................. 157
Темы докладов, рефератов, исследовательских работ .......... 158
Литература ................................................................................ 158
Глава 4. Проверка гипотез ....................................................... 160
4.1. Метод моментов проверки гипотез ................................. 160
4.2. Неустойчивость параметрических методов отбраковки
выбросов ........................................................................... 166
4.3. Проблема множественных проверок статистических
гипотез ............................................................................... 173
4
Контрольные вопросы и задачи ............................................... 180
Темы докладов, рефератов, исследовательских работ .......... 180
Литература ................................................................................. 181
Часть II. Конкретные статистические методы
Глава 5. Статистические методы анализа числовых
выборок ........................................................................ 183
5.1. Оценивание основных характеристик распределения .... 183
5.2. Методы проверки однородности характеристик двух
независимых выборок ....................................................... 195
5.3. Двухвыборочный критерий Вилкоксона ......................... 207
5.4. Состоятельные критерии проверки однородности неза-
висимых выборок .............................................................. 221
5.5. Методы проверки однородности связанных выборок ... 224
5.6. Проверка гипотезы симметрии ......................................... 229
5.7. Реальные и номинальные уровни значимости в задачах
проверки статистических гипотез .................................... 234
Контрольные вопросы и задачи................................................ 241
Темы докладов, рефератов, исследовательских работ .......... 244
Литература ................................................................................. 244
Глава 6. Многомерный статистический анализ ................... 246
6.1. Коэффициенты корреляции .............................................. 246
6.2. Восстановление линейной зависимости между двумя
переменными ...................................................................... 250
6.3. Основы линейного регрессионного анализа ................... 262
6.4. Индексы и их применение ................................................ 283
Контрольные вопросы и задачи ............................................... 291
Темы докладов, рефератов, исследовательских работ ......... 293
Литература ................................................................................. 294
Глава 7. Статистические методы анализа динамики ............ 295
7.1. Методы анализа и прогнозирования временных рядов .... 295
7.2. Системы эконометрических уравнений ........................... 298
7.3. Оценивание периода и периодической составляющей .... 301
Контрольные вопросы .............................................................. 315
Темы докладов, рефератов, исследовательских работ ......... 316
Литература ................................................................................. 316
Часть III. Вероятностно-статистическое
моделирование
Глава 8. Основы вероятностно-статистического модели-
рования .......................................................................... 319
8.1. Основные понятия теории вероятностно-статистичес-
кого моделирования .......................................................... 319
8.2. Устойчивость статистических выводов и принцип
уравнивания погрешностей .............................................. 328
5
8.3. Демографические модели ................................................. 345
8.4. Статистические модели движения товарных потоков ... 363
8.5. Статистические методы в истории ................................... 402
8.6. Вероятностно-статистическое моделирование в технике
на примере помех, создаваемых электровозом .............. 412
Контрольные вопросы и задачи ............................................... 422
Темы докладов, рефератов, исследовательских работ .......... 423
Литература ................................................................................. 424
Глава 9. Статистические модели динамики .......................... 426
9.1. Метод компьютерно-статистического моделирования
результатов взаимовлияний факторов ............................. 426
9.2. Система моделей налогообложения ................................. 430
9.3. Моделирование и анализ многомерных временных
рядов ................................................................................... 452
9.4. Балансовые соотношения метода ЖОК ........................... 462
Контрольные вопросы и задачи ............................................... 474
Темы докладов, рефератов, исследовательских работ .......... 474
Литература ................................................................................. 475
Глава 10. Статистические модели управления качеством ... 477
10.1. Основы статистического контроля качества ................ 477
10.2. Асимптотическая теория одноступенчатых планов ..... 487
10.3. Практическое применение статистического контроля ... 491
10.4. Статистические методы управления качеством про-
дукции ............................................................................... 506
10.5. Обнаружение разладки с помощью контрольных
карт .................................................................................... 513
Контрольные вопросы и задачи ............................................... 523
Темы докладов, рефератов, исследовательских работ .......... 524
Литература ................................................................................. 524
Глава 11. Статистические модели в медицине ...................... 526
11.1. Клинико-статистические исследования ......................... 526
11.2. Применение статистических моделей и методов в на-
учных медицинских исследованиях .............................. 537
11.3. Высокие статистические технологии в научных меди-
цинских исследованиях ................................................... 548
Контрольные вопросы и задачи ............................................... 560
Темы докладов, рефератов, исследовательских работ ......... 561
Литература ................................................................................. 561
Глава 12. Статистические методы в социологии .................. 563
12.1. Развитие статистического инструментария социо-
логов .................................................................................. 563
12.2. Перспективы применения теории люсианов в социо-
логии .................................................................................. 565
12.3. Асимптотика квантования и выбор числа градаций
в социологических анкетах ............................................. 576
6
12.4. Социометрическое исследование — инструмент ме-
неджера.............................................................................. 600
12.5. Статистические методы в выборочных исследованиях
научных организаций ....................................................... 604
12.6. Статистические методы изучения социально-психо-
логических характеристик способных к математике
школьников ...................................................................... 611
Контрольные вопросы и задачи ............................................... 620
Темы докладов, рефератов, исследовательских работ .......... 621
Литература ................................................................................. 622
7
Предисловие
Статистические методы анализа данных активно при-
меняются в технических исследованиях, экономике, теории
и практике управления (менеджменте), социологии, меди-
цине, геологии, истории и т. д. С результатами наблюдений
(измерений, испытаний, опытов), а также с их анализом
имеют дело специалисты всех отраслей практической дея-
тельности во многих областях теоретических исследований.
Учебник позволяет овладеть современными статистиче-
скими методами на уровне, достаточном для использования
этих методов в научной и практической деятельности. Он
входит в серию книг по организационно-экономическому
моделированию и высоким статистическим технологиям. В
нем рассмотрены современные методы анализа данных,
соответствующие последним научным достижениям отече-
ственной вероятностно-статистической школы. Издание
подготовлено в рамках инновационной образовательной
программы «Менеджмент высоких технологий» МГТУ
им. Н.Э. Баумана. Следует отметить, что нет оснований
противопоставлять субъективные экспертные данные объ-
ективным результатам измерений (наблюдений, испытаний,
анализов, опытов), поскольку для их описания и анализа
используют одни и те же вероятностно-статистические ме-
тоды и модели.
Книга предназначена для студентов и аспирантов раз-
личных специальностей, прежде всего технических, управ-
ленческих и экономических («Менеджмент высоких техно-
логий», «Менеджмент организации»), слушателей институ-
тов повышения квалификации, структур послевузовского
(в том числе второго) образования, в частности программ
МВА (Master of Business Administration — мастер делового
администрирования), преподавателей вузов, сотрудников
8
научно-исследовательских организаций и подразделений.
Учебник может быть полезен при изучении следующих дисци-
плин: «Организационно-экономическое моделирование», «Ста-
тистические методы», «Прикладная статистика», «Экономет-
рика», «Методы анализа данных», «Многомерный статистиче-
ский анализ», «Общая теория статистики», «Планирование
эксперимента», «Биометрика», «Теория принятия решений»,
«Управленческие решения», «Экономико___________-математическое мо-
делирование», «Математические методы прогнозирования»,
«Прогнозирование и технико-экономическое планирование»,
«Хемометрия», «Математические методы в экономике», «Мар-
кетинговые исследования», «Математические методы оценки»,
«Математические методы в социологии», «Математические
методы в геологии» и т. п.
9
Введение
Статистические методы анализа данных применяют во
многих областях деятельности человека. Целесообразно
выделить три вида научной и прикладной деятельности в
области применения статистических методов анализа дан-
ных (по степени специфичности методов, сопряженной с
погруженностью в конкретные проблемы):
1) разработка и исследование методов общего назначе-
ния без учета специфики области применения;
2) разработка и исследование статистических моделей
реальных явлений и процессов в соответствии с потребно-
стями той или иной конкретной области применения;
3) использование статистических методов и моделей
для статистического анализа конкретных данных.
По мере движения от первого вида к третьему область
применения конкретного статистического метода сужается,
при этом возрастает его роль для анализа определенной си-
туации. Если первому виду деятельности соответствуют
научные результаты, значимость которых оценивается по
общенаучным критериям, то для третьего вида деятельно-
сти основным является успешное решение конкретных за-
дач той или иной области применения (техники и техноло-
гии, экономики, социологии, медицины и др.). Второй вид
деятельности занимает промежуточное положение. Это
связано с тем, что, с одной стороны, теоретическое изуче-
ние свойств статистических методов и моделей, предназна-
ченных для определенной области применения, может быть
весьма сложным и математизированным, а с другой — ре-
зультаты представляют интерес лишь для некоторой груп-
пы специалистов. Можно утверждать, что второй вид дея-
тельности нацелен на решение типовых задач конкретной
области применения.
10
Прикладная статистика. Статистические методы ана-
лиза данных, относящиеся к первому виду деятельности,
обычно называют методами прикладной статистики. Таким
образом, прикладная статистика — наука о том, как обра-
батывать данные произвольной природы, без учета специ-
фики конкретной области применения [1].
Математические основы прикладной статистики и ста-
тистических методов анализа данных — теория вероятно-
стей и математическая статистика. Курс математической
статистики состоит в основном из доказательств теорем,
тогда как курс прикладной статистики представляет собой
методологию анализа данных и алгоритмы расчетов, тео-
ремы приводятся только для обоснования этих алгоритмов,
доказательства, как правило, опускаются.
Прикладная статистика — одна из статистических наук,
не относящаяся к математике, это методическая дисципли-
на, являющаяся центром, идейным ядром статистики. К
прикладной статистике относятся задачи описания данных,
оценивания и проверки гипотез.
Описание вида данных и при необходимости механизма
их порождения — начало любого статистического исследо-
вания. Для описания данных применяют детерминирован-
ные и вероятностно-статистические методы. С помощью де-
терминированных методов можно проанализировать только
данные, находящиеся в распоряжении исследователя. На-
пример, получены таблицы, рассчитанные органами офици-
альной государственной статистики, на основе представлен-
ных предприятиями и организациями статистических отче-
тов. Применить имеющиеся результаты к более широкой
(генеральной) совокупности, использовать их для прогнози-
рования и управления можно лишь на основе вероятностно-
статистического моделирования. В связи с этим в приклад-
ную статистику часто входят методы, опирающиеся на тео-
рию вероятностей.
Нецелесообразно противопоставлять детерминирован-
ные и вероятностно-статистические методы. Их можно
11
рассматривать как последовательные этапы статистиче-
ского анализа. На первом этапе необходимо проанализи-
ровать имеющиеся данные, представить их в удобном для
восприятия виде с помощью таблиц и диаграмм. Второй
этап — изучение статистических данных на основе тех
или иных вероятностно-статистических моделей. Возмож-
ность более глубокого изучения реального явления или
процесса обеспечивается разработкой адекватной матема-
тической модели.
В простейшем случае статистические данные — это зна-
чения некоторого признака, свойственного изучаемым объ-
ектам. Значения признака могут быть количественными или
качественными (представляют собой указание на категорию,
к которой может принадлежать объект). При измерении по
нескольким количественным или качественным признакам в
качестве статистических данных об объекте получают век-
тор, который можно рассматривать как новый вид данных. В
таком случае выборка состоит из набора векторов. Если
часть координат вектора — числа, а часть — качественные
(категоризованные) данные, то речь идет о векторе разно-
типных данных.
Одним элементом выборки, т. е. одним измерением,
может быть функция в целом (электрокардиограмма боль-
ного, амплитуда биений вала двигателя, временной ряд,
описывающий динамику показателей хозяйственной дея-
тельности определенной фирмы) и другие математические
объекты (бинарные отношения). Так, при опросах экспер-
тов часто используют упорядочения (ранжировки) объектов
экспертизы — образцов продукции, инвестиционных про-
ектов, вариантов управленческих решений.
Итак, математическая природа элементов выборки в
разных задачах прикладной статистики может быть раз-
личной. Однако можно выделить два класса статистических
данных — числовые и нечисловые данные. Соответственно
прикладную статистику подразделяют на числовую и нечи-
словую статистику.
12
Числовые статистические данные — числа, векторы,
функции. Их можно складывать, умножать на коэффициен-
ты, поэтому в числовой статистике большое значение имеют
разнообразные суммы. В качестве математического аппарата
анализа сумм случайных элементов выборки используют
классические законы больших чисел и центральные пре-
дельные теоремы.
Нечисловые статистические данные — категоризован-
ные данные, векторы разнотипных признаков, бинарные от-
ношения, множества, нечеткие множества и др. Их нельзя
складывать и умножать на коэффициенты. Эти данные
представляют собой элементы нечисловых математических
пространств (множеств). Математический аппарат анализа
нечисловых статистических данных основан на использо-
вании расстояний между элементами (мер близости, пока-
зателей различия, псевдометрик) в таких пространствах.
С помощью расстояний определяют эмпирические и теоре-
тические средние величины, доказывают законы больших
чисел, строят непараметрические оценки плотности рас-
пределения вероятностей, решают задачи диагностики и
кластерного анализа и т. д. [2].
В прикладных исследованиях используют различные
виды статистических данных, что связано, в частности, со
способами их получения. Например, если испытания неко-
торых технических устройств продолжают до определен-
ного момента времени, то получают так называемые цензу-
рированные данные, состоящие из набора чисел — про-
должительности работы ряда устройств до отказа — и
информации о том, что остальные устройства продолжали
работать в момент окончания испытания. Цензурированные
данные часто применяют при оценке и контроле надежно-
сти технических устройств.
Основные области применения прикладной статистики
в зависимости от вида статистических данных приведены
далее (модели порождения цензурированных данных вхо-
дят в состав каждой из рассматриваемых областей):
13
Статистические данные Область применения
прикладной статистики
Числа Статистика (случайных) величин
Конечномерные векторы Многомерный статистический ана-
лиз
Функции Статистика случайных процессов и
временных рядов
Объекты нечисловой при-
роды
Статистика нечисловых данных
(статистика объектов нечисловой
природы)
Вероятностно-статистическое моделирование. При
применении статистических методов в конкретных обла-
стях знаний и отраслях народного хозяйства получаем
научно-практические дисциплины «Статистические методы
в промышленности», «Статистические методы в медицине»
и др. С этой точки зрения эконометрика представляет собой
дисциплину «Статистические методы в экономике» [3]. Пе-
речисленные дисциплины обычно основаны на вероятност-
но-статистических моделях, сформированных в соответ-
ствии с особенностями области применения.
Основная часть настоящей книги посвящена статисти-
ческим методам и вероятностно-статистическому модели-
рованию в технико-экономических исследованиях (логи-
стике, управлении качеством, электротехнике), в экономике
и управлении (налогообложении, маркетинге), в демогра-
фии, истории, медицине и социологии.
При выборе вероятностно-статистических моделей ав-
тор во многом исходил из имеющегося у него опыта реше-
ния конкретных прикладных задач, а также старался не по-
вторять уже известный в литературе материал. В связи с
этим в издании не рассмотрены вопросы надежности и без-
опасности технических устройств и технологий, теории
массового обслуживания, сложные системы эконометриче-
ских уравнений.
Статистический анализ конкретных данных. Приме-
нение статистических методов и моделей для статистиче-
14
ского анализа конкретных данных тесно связано с пробле-
мами соответствующей области применения. Результаты
третьего вида научной и прикладной деятельности нахо-
дятся на стыке дисциплин (являются междисциплинарны-
ми). Эти результаты можно рассматривать как примеры
практического применения статистических методов, что и
сделано в настоящем учебнике. Но не меньше оснований
относить их к конкретной области применения.
Примеры практического применения статистических
методов включены во все главы книги. При выборе приме-
ров предпочтение отдавалось исследованиям, в которых
автор принимал непосредственное участие. Однако описа-
ние примеров было адаптировано для использования в
учебном процессе. Заказчики прикладных исследований
получают отчеты, в которых проблемы соответствующих
областей применения рассмотрены подробнее [4].
Высокие статистические технологии. Термин «высо-
кие технологии», популярный в современной научно-
технической литературе, используют для обозначения наи-
более передовых технологий, основанных на последних дос-
тижениях научно-технического прогресса [5]. Такие техно-
логии, существующие и в технологиях статистического ана-
лиза данных, подробно изучены в настоящем учебнике.
Слово «высокие» означает, что статистическая техноло-
гия опирается на современные достижения статистической
теории и практики. Другими словами, математическая ос-
нова технологии получена сравнительно недавно в рамках
научной дисциплины; алгоритмы расчетов разработаны и
обоснованы в соответствии с нею.
Слово «статистические» подробно объясняется в дан-
ной работе. С точки зрения автора, статистические данные
представляют собой результаты измерений (наблюдений,
испытаний, анализов, опытов), а статистические техноло-
гии — технологии анализа статистических данных.
Наконец, сравнительно редко используемый примени-
тельно к статистике термин «технологии». Статистический
анализ данных включает в себя процедуры и алгоритмы,
15
выполняемые последовательно, параллельно или по более
сложной схеме. Можно выделить следующие этапы приме-
нения статистических технологий:
• планирование статистического исследования;
• организация сбора необходимых статистических дан-
ных по оптимальной или рациональной программе (плани-
рование выборки, создание организационной структуры и
подбор команды статистиков, подготовка кадров, которые
будут заниматься сбором данных, а также контролеров
данных и т. п.);
• непосредственный сбор данных и их фиксация на тех
или иных носителях (с контролем качества сбора и отбра-
ковкой ошибочных данных по соображениям, связанным с
конкретной областью применения);
• первичное описание данных (расчет различных пара-
метров выборки, характеристик, функций распределения,
непараметрических оценок плотности, построение гисто-
грамм, корреляционных полей, различных таблиц и диа-
грамм и т. д.);
• оценивание числовых или нечисловых характери-
стик, а также параметров распределений (например, непа-
раметрическое интервальное оценивание коэффициента
вариации или восстановление зависимости между откликом
и факторами, т. е. оценивание функции);
• проверка статистических гипотез (иногда их цепо-
чек — после проверки предыдущей гипотезы принимают
решение о проверке последующей гипотезы);
• применение различных алгоритмов многомерного
статистического анализа, алгоритмов диагностики и по-
строения классификаций, статистики нечисловых и интер-
вальных данных, анализа временных рядов и др.;
• проверка устойчивости полученных оценок и выво-
дов относительно допустимых отклонений исходных дан-
ных и предпосылок используемых вероятностно-статис-
тических моделей, в частности изучение свойств оценок
методом размножения выборок;
16
• применение полученных статистических результатов в
прикладных целях (для диагностики конкретных материа-
лов, построения прогнозов, выбора инвестиционного проек-
та из предложенных вариантов, нахождения оптимального
режима проведения технологического процесса, подведения
итогов испытаний образцов технических устройств и др.);
• составление итоговых отчетов для тех, кто не являет-
ся специалистами в статистических методах анализа дан-
ных, в том числе для руководства — лиц, принимающих
решения.
Возможны и иные этапы применения статистических
технологий. Квалифицированное и результативное приме-
нение статистических методов — отнюдь не проверка од-
ной отдельно взятой статистической гипотезы или оценка
параметров одного заданного распределения из фиксиро-
ванного семейства. Подобного рода операции представля-
ют собой отдельные кирпичики, из которых состоит стати-
стическая технология.
Процедура статистического анализа данных — инфор-
мационный технологический процесс (информационная
ытехнология). В настоящее время было бы несерьезно гово-
рить об автоматизации всего процесса статистического
анализа данных, поскольку существует много нерешенных
проблем, вызывающих дискуссии среди статистиков.
Опишем опыт внедрения высоких статистических техно-
логий. Организованный в 1989 г. Институт высоких стати-
стических технологий и эконометрики (ИВСТЭ) в настоящее
время действует на базе кафедры ИБМ-2 «Экономика и ор-
ганизация производства» Московского государственного
технического университета им. Н.Э. Баумана. Институт за-
нимается развитием, изучением и внедрением высоких ста-
тистических технологий. Основной интерес представляет
применение высоких статистических технологий для анали-
за конкретных экономических данных. Наиболее перспек-
тивно использование высоких статистических технологий
для поддержки принятия управленческих решений прежде
17
всего в таком новом для России современном направлении
экономической науки и практики, как контроллинг.
Вначале ИВСТЭ действовал как Всесоюзный центр стати-
стических методов и информатики Центрального правления
Всесоюзного экономического общества. В 1990—1992 гг. бы-
ло выполнено более 100 хоздоговорных работ, в том числе
для НИЦ по безопасности атомной энергетики, ВНИИ неф-
тепереработки, ПО «Пластик», ФГУП «ЦНИИ черной ме-
таллургии им. И.П. Бардина», НИИ стали, ВНИИ эласто-
мерных материалов и изделий, НИИ прикладной химии,
ЦНИИ химии и механики, НПО «Орион», ВНИИ экономи-
ческих проблем развития науки и техники, ПО «Уралмаш»,
«АвтоВАЗ», МИИТ и др. В институте
• разрабатывались эконометрические методы анализа
нечисловых данных, а также процедуры расчета и прогно-
зирования индекса инфляции и валового внутреннего про-
дукта (ВВП);
• развивалась методология построения и использова-
ния математических моделей процессов налогообложения
(для Министерства налогов и сборов РФ), методология
оценки рисков реализации инновационных проектов выс-
шей школы (для Министерства промышленности, науки и
технологий РФ);
• оценивалось влияние различных факторов на форми-
рование налогооблагаемой базы ряда налогов (для Мини-
стерства финансов РФ);
• прорабатывались перспективы применения совре-
менных статистических и экспертных методов для анализа
данных о научном потенциале (для Министерства про-
мышленности, науки и технологий РФ);
• разрабатывалось методологическое, программное и
информационное обеспечение анализа рисков химико-
технологических объектов (для Международного научно-
технического центра), методы использования экспертных
оценок в задачах экологического страхования (совместно с
Институтом проблем рынка РАН);
18
• проводились маркетинговые исследования (в частно-
сти, для Institute for Market Research GfK MR, Промрадтех-
банка, для фирмы, торгующей растворимым кофе);
• прогнозировалось социально-экономическое разви-
тие России методом сценариев;
• проводились работы по экономико-математическому
моделированию развития малых предприятий и созданию
систем информационной поддержки принятия решений.
В 2010—2012 гг. ИВСТЭ совместно с Группой компа-
ний «Волга — Днепр» и Ульяновским государственным
университетом активно участвует в проекте «Разработка
математического аппарата, программного и информацион-
ного обеспечения автоматизированной системы прогнози-
рования и предотвращения авиационных происшествий при
организации и производстве воздушных перевозок».
Программное обеспечение статистических методов.
Как правило, статистическую обработку данных проводят
с помощью соответствующих программных продуктов.
В учебник не были включены ссылки на программные
продукты по следующим причинам: быстрое обновление
программных продуктов; каждый программный продукт
обладает определенными достоинствами и недостатками,
в связи с чем крайне трудно обосновать, какой из про-
граммных продуктов следует предпочесть [6].
С течением времени различие между математической и
прикладной статистикой усиливается. Это проявляется в
том, что большинство методов, входящих в статистические
пакеты программ (например, в Statgraphics и SPSS или в
Statistica), даже не упоминаются в учебниках по математи-
ческой статистике. В результате этого специалист по мате-
матической статистике оказывается зачастую беспомощ-
ным при обработке реальных данных, а программные про-
дукты по статистических методам применяют лица без
необходимой теоретической подготовки [7].
По оценкам экспертов, распространенные статистиче-
ские программные продукты обычно соответствуют уров-
19
ню научных исследований 1960—1970-х гг. В них отсутст-
вует большинство статистических методов, включенных в
современные учебники [1—3].
Перспективы развития статистических методов.
Теория статистических методов нацелена на решение ре-
альных задач, поэтому в ней постоянно возникают новые
постановки математических задач анализа статистических
данных, развиваются и обосновываются новые методы.
Обоснование часто проводится с помощью математических
средств, т. е. путем доказательства теорем. При разработке
и применении статистических методов важна методологи-
ческая составляющая (как именно сформулировать задачи,
какие предположения принять для дальнейшего математи-
ческого изучения), а также современные информационные
технологии, в частности компьютерный эксперимент.
Актуальной является задача анализа истории статисти-
ческих методов для выявления тенденций их развития,
применения тенденций для прогнозирования и планирова-
ния исследований в области статистических методов.
Ситуация с внедрением современных статистических
методов на отечественных предприятиях и в организациях
различных отраслей народного хозяйства внушает опти-
мизм. Продолжают развиваться структуры, в которых тре-
буются статистические методы, — подразделения качества,
надежности, управления персоналом, центральные завод-
ские лаборатории и др. В последние годы получили рас-
пространение службы контроллинга, маркетинга и сбыта,
логистики, сертификации, прогнозирования и планирова-
ния, инноваций и инвестиций, управления рисками, эколо-
гии, использующие различные статистические методы (в
частности, методы экспертных оценок). Рассмотренные в
учебнике методы необходимы органам государственного и
муниципального управления, организациям силовых ве-
домств, транспорта и связи, медицины, образования, агро-
промышленного комплекса, научным и практическим ра-
ботникам всех областей деятельности.
20
Основные этапы становления статистических мето-
дов. В качестве примера первого применения статистиче-
ских методов можно привести Библию, Ветхий Завет. Там
описана процедура и даны результаты переписи военнообя-
занных. Само слово «статистика» происходит от латинско-
го слова status — состояние дел. Вначале под статистикой
понимали описание экономического и политического со-
стояния государства или его части. Например, к 1792 г. от-
носится следующее определение: статистика описывает
состояние государства в настоящее время или в некоторый
известный момент в прошлом. И сейчас деятельность госу-
дарственных статистических служб достаточно хорошо со-
ответствует этому определению.
Однако постепенно термин «статистика» стал исполь-
зоваться более широко. Так, Наполеон Бонапарт под этим
термином понимал «бюджет вещей». Статистические мето-
ды были признаны полезными не только для администра-
тивного управления, но и для управления на уровне от-
дельного предприятия. Согласно формулировке 1833 г.,
«цель статистики заключается в представлении фактов в
наиболее сжатой форме», т. е. статистика уже не связывает-
ся ни с государствоведением, ни с социально-экономи-
ческими проблемами.
В 1954 г. академик Б.В. Гнеденко дал следующее опре-
деление: «статистика состоит из трех разделов:
1) сбор статистических сведений, т. е. сведений, харак-
теризующих отдельные единицы каких-либо массовых со-
вокупностей;
2) статистическое исследование полученных данных,
заключающееся в выяснении тех закономерностей, которые
могут быть установлены на основе данных массового на-
блюдения;
3) разработка приемов статистического наблюдения и
анализа статистических данных. Последний раздел, собст-
венно, и составляет содержание математической статисти-
ки» [8].
21
Под «статистикой» также часто понимают набор коли-
чественных данных о некотором явлении или процессе.
Специалисты в области статистических методов «статисти-
кой» называют функцию результатов наблюдений, исполь-
зуемую для оценивания характеристик и параметров рас-
пределений и проверки гипотез.
После возникновения теории вероятностей как науки
(Паскаль, Ферма, XVII в.) вероятностные модели стали
использоваться при обработке статистических данных.
В 1794 г. К. Гаусс разработал метод наименьших квадра-
тов (гл. 6), один из наиболее популярных статистических
методов, и применил его при расчете орбиты астероида
Церера. В ХIХ в. заметный вклад в развитие практической
статистики внес А. Кетле (1791—1874), на основе анализа
большого числа реальных данных показавший устойчи-
вость относительных статистических показателей.
Параметрическая статистика. С 1900 г. были изучены
методы, основанные на анализе данных из параметриче-
ских семейств распределений. Наиболее распространенным
было нормальное (гауссово) распределение. Для проверки
гипотез использовались критерии Пирсона, Стьюдента,
Фишера, основанные на вероятностно-статистических мо-
делях, в которых результаты измерений (наблюдений, ис-
пытаний, опытов, анализов) имели нормальное распределе-
ние. Были предложены метод максимального правдоподо-
бия, дисперсионный ___________анализ, сформулированы основные
идеи планирования эксперимента.
Разработанную в первой трети ХХ в. теорию анализа
данных называют параметрической статистикой, поскольку
ее основной объект изучения — выборки из распределений,
описываемых одним параметром или небольшим числом
параметров (2—4). Наиболее общим является семейство
распределений Пирсона, задаваемых четырьмя параметрами.
С математической точки зрения параметрическая стати-
стика позволяет получить теоретические схемы, на основе
которых построена теория. Профессионалам следует обра-
22
тить внимание на теорию достаточных статистик, неравен-
ство Рао — Крамера, теорию оптимального оценивания и др.
Параметрическую статистику часто критикуют, так как
нельзя указать каких-либо веских причин, по которым рас-
пределение результатов конкретных наблюдений непре-
менно должно входить в параметрическое семейство [9].
Статистические методы в России. В России были по-
лучены многие фундаментальные результаты прикладной
статистики [10]. Первое статистико-экономическое обозре-
ние России составлено И.К. Кирилловым (1689—1737),
обер-секретарем Сената, под названием «Цветущее состоя-
ние Всероссийского государства» [11]. Научный труд по
вопросам организации учета населения в России «Рассуж-
дение о ревизии поголовной и касающемся до оной» напи-
сан в 1747 г. В.Н. Татищевым (1686—1750), известным го-
сударственным деятелем. Он одним из первых применял
анкеты для сбора статистических данных. Большой вклад
в теорию и практику отечественной статистики внес
М.В. Ломоносов (1711—1765).
Огромное значение имеют работы А.Н. Колмогорова
(1903—1987), которые дали первоначальный толчок к разви-
тию ряда направлений прикладной статистики, а также
Н.В. Смирнова (1900—1966) и Л.Н. Большева (1922—1978)
[10]. До сих пор для специалистов важны работы А.Н. Кол-
могорова по аксиоматическому подходу к теории вероятно-
стей, по критерию согласия эмпирического распределения с
теоретическим распределением, по свойствам медианы как
оценки центра распределения, по эффекту «вздувания» ко-
эффициента корреляции, по теории средних величин, по ста-
тистической теории кристаллизации металлов, по методу
наименьших квадратов, по свойствам сумм случайного чис-
ла случайных слагаемых, по статистическому контролю, по
несмещенным оценкам, по аксиоматическому получению
логарифмически нормального закона распределения при
дроблении, по методам обнаружения различий при экспери-
ментах типа погодных [12].
23
Идеи А.Н. Колмогорова продолжил развивать его уче-
ник Б.В. Гнеденко (1912—1995), занимавшийся предель-
ными теоремами теории вероятностей, математической
статистикой, теорией надежности, статистическими мето-
дами управления качеством, теорией массового обслужи-
вания [13]. По его мнению, важнейшими аспектами востре-
бованности теории и успешного применения ее на практике
являются:
• наличие в теории богатого набора математических
моделей, отражающих разнообразные явления предметной
области;
• наличие в предметной области специалистов, спо-
собных понять математические модели и превратить их в
«руководящие указания» на производстве;
• наличие литературы самого разного уровня, отра-
жающей достижения теории и практику ее применения;
• возможность прямого контакта между создателями
теории и специалистами предметной области для взаимной
корректировки задач теории и методов ее приложения в
предметной области.
Статистические методы применял В.В. Налимов
(1910—1997) — создатель и руководитель нескольких но-
вых научных направлений: метрологии количественного
анализа, химической кибернетики, математической теории
эксперимента и наукометрии. Он также занимался пробле-
мами математизации биологии, анализом оснований эколо-
гического прогноза, вероятностными аспектами эволюции,
проблемами языка и мышления, философией и методологи-
ей науки, проблемами человека в современной науке, веро-
ятностной теорией смыслов.
Наряду с перечисленными исследователями следует
отметить А.Я. Хинчина, С.Н. Бернштейна, Е.Е. Слуцкого,
В.С. Немчинова, В.И. Романовского, К. Круга, А.А. Люби-
щева, А.П. Вощинина и др. В 1990 г. была образована Все-
союзная статистическая ассоциация (ВСА), объединившая
статистиков всех направлений — специалистов по при-
24
кладной и математической статистике, по надежности (в
основном представителей оборонно-промышленного ком-
плекса), преподавателей экономико-статистических дисци-
плин, работников официальной государственной статисти-
ки. Ведущую роль в создании ВСА сыграл Всесоюзный
центр статистических методов и информатики [15]. Отме-
тим выпуск энциклопедии «Вероятность и математическая
статистика» [16], содержащей полезную информацию для
специалистов по статистическим методам.
Работы по прикладной статистике продолжались в рам-
ках Российской ассоциации статистических методов (соз-
данной на базе одноименной секции ВСА) и Российской
академии статистических методов, а также в рамках Бело-
русской статистической ассоциации. Отечественные работы
по статистическим методам в основном публикуются в жур-
нале «Заводская лаборатория» в разделе «Математические
методы исследования», созданном в 1961 г. В нем за 50 лет
помещено около 1 000 статей по различным направлениям
прикладной статистики, прежде всего по статистическому
анализу числовых величин, по статистике нечисловых дан-
ных, по многомерному статистическому анализу, по плани-
рованию эксперимента, по опыту применения статистиче-
ских методов при решении конкретных прикладных задач.
Точки роста. Выделим пять актуальных направлений
(точек роста), в которых развивается современная приклад-
ная статистика: непараметрическая статистика (непарамет-
рика), устойчивость статистических процедур (робастность),
бутстреп (размножение выборок), статистика интервальных
данных, статистика нечисловых данных (в другой термино-
логии — статистика объектов нечисловой природы, нечи-
словая статистика).
1. Непараметрическая статистика. Статистические
методы, которые не основаны на нереалистическом пред-
положении о том, что рассматриваемые выборки взяты из
распределений, описываемых одним параметром или не-
большим числом параметров (2—4), называют непарамет-
25
рическими. В первой трети ХХ в. в работах Ч. Спирмена
(1863—1945) и М. Кендалла (1907—1983) были описаны
первые методы непараметрической статистики, основанные
на коэффициентах ранговой корреляции. Но непараметри-
ческая статистика, не содержащая нереалистических
предположений о принадлежности функции распределе-
ния результатов наблюдений тем или иным параметриче-
ским семействам распределений, стала заметной частью
статистики лишь со второй трети ХХ в. В 1930-е гг. поя-
вились работы А.Н. Колмогорова и Н.В. Смирнова, пред-
ложивших и изучивших статистические критерии. После
Второй мировой войны развитие непараметрической стати-
стики пошло быстрыми темпами. Большой вклад в разви-
тие статистики внес Ф. Вилкоксон (1892—1965). К настоя-
щему времени с помощью методов непараметрической ста-
тистики можно решать практически те же статистические
задачи, что и с помощью методов параметрической стати-
стики. Важную роль играют непараметрические оценки
плотности, непараметрические методы регрессии и распо-
знавания образов (дискриминантного анализа).
2. Устойчивость статистических процедур (роба-
стность). Если в параметрических постановках на вероят-
ностные модели статистических данных накладываются
слишком жесткие требования (их функции распределения
должны принадлежать определенному параметрическому
семейству), то в непараметрических постановках — из-
лишне слабые требования (функции распределения должны
быть непрерывны). При этом игнорируется априорная ин-
формация ___________о «примерном виде» распределения. Априори
можно ожидать, что учет «примерного вида» улучшит по-
казатели качества статистических процедур. Развитием
этой идеи является теория устойчивости (робастности) ста-
тистических процедур, в которой предполагается, что рас-
пределение исходных данных мало отличается от распре-
деления некоторого параметрического семейства. За рубе-
жом эту теорию разрабатывали П. Хубер, Ф. Хампель и др.
26
Частными случаями реализации идеи устойчивости стати-
стических процедур являются статистика объектов нечи-
словой природы и статистика интервальных данных.
Существует много моделей устойчивости в зависимости
от того, какие именно отклонения от заданного параметри-
ческого семейства допускаются. Среди теоретиков наибо-
лее популярной оказалась модель выбросов, в которой ис-
ходная выборка «засоряется» малым числом выбросов,
имеющих принципиально иное распределение. Более пер-
спективна модель малых отклонений распределений, в ко-
торой расстояние между распределением каждого элемента
выборки и базовым распределением не превосходит задан-
ного минимального значения, и модель статистики интер-
вальных данных [2, 17].
3. Бутстреп (размножение выборок). Бутстреп связан
с интенсивным использованием возможностей компьюте-
ров. Основная идея заключается в замене теоретического
исследования вычислительным экспериментом. Например,
вместо описания выборки распределением из параметриче-
ского семейства формируется большое число «похожих»
выборок, т. е. осуществляется размножение выборки. Далее
на основе свойств теоретического распределения с помо-
щью вычислительного метода решаются задачи, рассчиты-
ваются интересующие статистики по каждой из «похожих»
выборок и анализируются полученные распределения.
Квантили этого распределения задают доверительные ин-
тервалы и т. д.
Предположим, что по выборке делаются какие-либо
статистические выводы. Насколько эти выводы устойчивы?
Если есть другие (контрольные) выборки, описывающие
это же явление, можно применить к ним ту же статистиче-
скую процедуру и сравнить результаты. Если таких выбо-
рок не существует, то следует их построить искусственно.
Выбирается исходная выборка и исключается один эле-
мент. Имеется похожая выборка, взятая из того же распре-
деления, только с объемом на единицу меньше. Затем воз-
27
вращается этот элемент выборки и исключается другой.
Получается вторая похожая выборка. Поступая так со все-
ми элементами исходной выборки, имеем число выборок,
похожих на исходную выборку, равное ее объему. Остается
обработать выборки тем же способом, что и исходную вы-
борку, и изучить устойчивость получаемых выводов —
разброс оценок параметров, частоты принятия или откло-
нения гипотез и т. д.
Есть много способов развития идеи размножения выбо-
рок. Первый вариант — построение по исходной выборке
эмпирической функции распределения, а затем переход ка-
ким-либо образом от кусочно-постоянной функции к не-
прерывной функции распределения, например соединение
точек (x(i); i/n), i=1, 2, ..., n, отрезками прямых. Второй
вариант перехода к непрерывному распределению — по-
строение непараметрической оценки плотности. После это-
го рекомендуется брать размноженные выборки из этого
распределения (являющегося состоятельной оценкой ис-
ходного распределения), непрерывность защитит от совпа-
дений элементов в этих выборках.
Третий вариант построения размноженных выборок бо-
лее прямой. Исходные данные не могут быть определены
совершенно точно и однозначно. Поэтому предлагается к
исходным данным добавлять малые независимые одинако-
во распределенные погрешности. При таком варианте со-
единяем вместе идеи устойчивости и бутстрепа. Поскольку
всегда имеются погрешности измерения, то реальные дан-
ные — это не числа, а интервалы (результат измерения
плюс-минус погрешность).
4. Статистика интервальных данных. Перспектив-
ное и быстро развивающееся направление последних лет —
статистика интервальных данных, в которой рассматрива-
ются асимптотические методы статистического анализа
интервальных данных при больших объемах выборок и ма-
лых погрешностях измерений [2].
28
В рамках данного научного направления:
• разработана общая схема исследования, включающая
в себя расчет нотны (максимально возможного отклонения
статистики, вызванного интервальностью исходных дан-
ных) и рационального объема выборки (превышение этого
объема не дает существенного повышения точности оцени-
вания);
• оценены математическое ожидание, дисперсия, ко-
эффициент вариации, параметры гамма-распределения и
характеристики аддитивных статистик;
• осуществлена проверка гипотез о параметрах нор-
мального распределения, в том числе с помощью критерия
Стьюдента, а также гипотезы однородности с помощью
критерия Смирнова;
• разработаны подходы к рассмотрению интервальных
данных в основных постановках регрессионного, дискри-
минантного и кластерного анализов;
• изучено влияние погрешностей измерений и наблю-
дений на свойства алгоритмов регрессионного анализа,
• введены и исследованы новые понятия многомерных
и асимптотических нотн и доказаны соответствующие пре-
дельные теоремы;
• разработан интервальный дискриминантный анализ,
в частности, установлено влияние интервальности данных
на показатель качества классификации;
• изучено асимптотическое поведение оценок метода
моментов и оценок максимального правдоподобия, а также
более общих оценок минимального контраста и проведено
асимптотическое сравнение точности указанных выше ме-
тодов в случае интервальных данных;
• найдены условия, при которых в отличие от класси-
ческой математической статистики метод моментов дает
более точные оценки, чем метод максимального правдопо-
добия.
В области асимптотической статистики интервальных
данных российская наука имеет мировой приоритет. Во все
29
виды статистического программного обеспечения включа-
ют алгоритмы интервальной статистики, «параллельные»
обычно используемым алгоритмам прикладной математи-
ческой статистики. Это позволяет в явном виде учесть на-
личие погрешностей результатов наблюдений.
5. Статистика нечисловой природы. Анализ динами-
ки развития прикладной статистики приводит к выводу, что
в XXI в. статистика нечисловой природы станет централь-
ной областью прикладной статистики, поскольку содержит
наиболее общие подходы и результаты.
Исходный объект прикладной математической статисти-
ки — выборка. В вероятностной теории статистики выборка
представляет собой совокупность независимых одинаково
распределенных случайных элементов. Какова природа этих
элементов? В классической математической статистике эле-
менты выборки — числа, в многомерном статистическом
анализе — векторы, в нечисловой статистике элементы вы-
борки — объекты нечисловой природы, которые нельзя
складывать и умножать на числа. Другими словами, объекты
нечисловой природы принадлежат пространствам, не имею-
щим линейной (векторной____________) структуры [2].
С начала 1970-х гг. под влиянием запросов прикладных
исследований в социально-экономических, технических,
медицинских науках в России активно развивается стати-
стика объектов нечисловой природы. В создании этой
сравнительно новой области прикладной математической
статистики приоритет принадлежит российским ученым.
Большое значение для развития нечисловой статистики
имели запросы теории и практики экспертных оценок [18].
Учебник состоит из трех частей (12 глав). В части I
(главы 1—4) рассмотрены проблемы организации выбо-
рочных исследований на примере двух конкретных марке-
тинговых опросов, модели случайных выборок, в том числе
гипергеометрическая и биномиальная, методы доверитель-
ного оценивания доли и проверки однородности двух би-
номиальных выборок, модели порождения данных, методы
30
их описания с помощью таблиц и диаграмм, выборочных
характеристик и эмпирической функции распределения,
непараметрических оценок плотности (в пространствах
произвольной природы). Показано, что распределение ре-
зультатов наблюдений (испытаний, измерений, анализов,
опытов), как правило, отличается от нормального распре-
деления. Большое внимание уделено непараметрическим
методам анализа статистических данных, методам оцени-
вания параметров и характеристик. Разработаны и изучены
одношаговые оценки для замены устаревших оценок мак-
симального правдоподобия. Исследована асимптотика ре-
шений экстремальных статистических задач и устойчивость
(робастность) статистических процедур. Оценивание для
сгруппированных данных построено на основе формулы
Эйлера — Маклорена и поправок Шеппарда. Для проверки
гипотез разработан метод моментов, реализованный на
примере гипотезы согласия с гамма-распределением. Про-
демонстрирована крайняя неустойчивость параметрических
методов отбраковки выбросов, приводящая к выводу о не-
возможности их научно обоснованного использования.
Сформулирована предельная теория непараметрических
критериев, опирающаяся на метод приближения ступенча-
тыми функциями. Разработан метод проверки гипотез по
совокупности малых выборок для применения в асимптоти-
ке растущей размерности, когда число неизвестных пара-
метров увеличивается вместе с объемом данных. Рассмотре-
на проблема множественных проверок статистических гипо-
тез, актуальная при разработке высоких статистических
технологий анализа данных.
В части II (главы 5—7) приведены конкретные стати-
стические методы анализа данных различных типов. Разо-
браны методы точечного и доверительного непараметриче-
ского оценивания основных характеристик распределения
(математического ожидания, медианы, дисперсии, среднего
квадратического отклонения, коэффициента вариации), ме-
тоды проверки однородности характеристик двух незави-
31
симых выборок, обоснована необходимость использования
непараметрического критерия Крамера — Уэлча вместо
статистики критерия Стьюдента. Изучены свойства двух-
выборочного критерия Вилкоксона, обосновано примене-
ние состоятельных критериев проверки однородности неза-
висимых выборок. Разработаны методы проверки однород-
ности связанных выборок, в том числе на основе критериев
проверки гипотезы симметрии. Перечислены основные по-
становки многомерного статистического анализа. Рассмот-
рены линейный (Пирсона) и непараметрические (Спирмена,
Кендалла) коэффициенты парной корреляции. Изложена
задача восстановления линейной зависимости между двумя
переменными на основе непараметрического метода наи-
меньших квадратов, а также основы линейного регрессион-
ного анализа, теории индексов, в том числе индексов по-
требительских цен, статистические методы анализа дина-
мики, в том числе методы анализа и прогнозирования
временнûх рядов и системы эконометрических уравнений.
Включены оригинальные подходы к оцениванию периода и
периодической составляющей сигналов.
Часть III (главы 8—12) посвящена вероятностно-ста-
тистическому моделированию в различных областях при-
менения [19]. Рассмотрены основные понятия теории ста-
тистического моделирования; демографические модели;
статистические модели движения товарных потоков в про-
цессе работы склада (модели логистики); статистическое
моделирование исторических процессов, позволившее су-
щественно уточнить хронологию древнего мира и средне-
вековья; вероятностно-статистическое моделирование по-
мех, создаваемых электровозами. Описан подход к модели-
рованию взаимовлияний факторов методом Жихарева —
Орлова — Кольцова, на основе которого разработана сис-
тема моделей налогообложения и проанализированы мак-
роэкономические балансовые соотношения. Изучена эко-
нометрическая база метода — моделирование и анализ
многомерных временнûх рядов. Рассмотрены комплекс
32
статистических методов управления качеством, в том числе
методы обнаружения разладки с помощью контрольных
карт, весьма актуальные не только для организации про-
изводства, но и в менеджменте; статистическое моделиро-
вание в экспертных исследованиях. Приведены примеры
процедур экспертных оценок, выделены основные стадии
экспертного опроса. В качестве примера применения обще-
научной теории измерений получены правила выбора вида
средних величин в зависимости от типов шкал, в которых
измерены ответы экспертов. Показано использование мето-
дов средних арифметических и медиан баллов в сочетании
с процедурами согласования кластеризованных ранжи-
ровок. Рассмотрены математические методы анализа экс-
пертных оценок, в частности расстояние Кемени и медиана
Кемени, в пространствах бинарных отношений; медико-
статистические технологии в научных медицинских иссле-
дованиях; проблемы внедрения высоких статистических
технологий. Проанализировано развитие статистического
инструментария отечественных социологов за последние
30 лет, изложены перспективы применения люсианов,
асимптотика квантования и выбор числа градаций в социо-
логических анкетах.
Автор настоящего учебника более 40 лет постоянно за-
нимается статистическими методами. В издание включены
теоретические и практические результаты, полученные им
в 1970-х гг. и в последние годы. Литературные ссылки по-
могут углубленно изучить материал. В части 1 учебника
помещена краткая информация о деятельности автора как
научного работника и преподавателя, о ранее выпущенных
им монографиях, учебниках, учебных пособиях.
В отличие от учебной литературы по математическим
дисциплинам, в настоящей книге практически отсутствуют
доказательства. Однако в нескольких случаях они приведены.
Автор благодарен сотрудникам редакции Издательства
МГТУ им. Н.Э. Баумана, членам редколлегии и секции
«Математические методы исследования» журнала «Завод-
33
ская лаборатория», всему коллективу кафедры ИБМ-2
«Экономика и организация производства» МГТУ
им. Н.Э. Баумана и заведующему кафедрой профессору
С.Г. Фалько за постоянную поддержку проектов по разра-
ботке и внедрению организационно-экономических, эконо-
метрических и статистических курсов, членам Ученого со-
вета, поддержавшим инициативу о введении статистических
методов в учебный процесс, декану факультета «Инженер-
ный бизнес и менеджмент» профессору И.Н. Омельченко за
совместные научные исследования, рецензентам — заве-
дующему кафедрой «Системы управления экономичес-
кими объектами» Московского авиационного института
В.Д. Калачанову и заместителю директора Института про-
блем управления РАН Д.А. Новикову.
Автор благодарен за помощь в написании гл. 11 сыну
А.А. Орлову и жене Л.А. Орловой.
С текущей научной информацией по теории и практике
статистических методов анализа данных можно ознако-
миться на сайте «Высокие статистические технологии»
http://orlovs.pp.ru, а также на странице «Лаборатория
экономико-математических методов в контроллинге»
http://www.ibm.bmstu.ru/nil/lab.html (сайт научно-учебного
комплекса «Инженерный бизнес и менеджмент» МГТУ
им. Н.Э. Баумана). Достаточно большой объем информации
содержит еженедельник «Эконометрика».
Читатели могут сообщать свои вопросы и замечания по
адресу Издательства или непосредственно автору по элек-
тронной почте Е-mail: prof-orlov@mail.ru.
Литература
1. Орлов А.И. Прикладная статистика. М.: Экзамен,
2006. 671 с.
2. Орлов А.И. Организационно-экономическое моде-
лирование: В 3 ч. Ч.1: Нечисловая статистика. М.: Изд-во
МГТУ им. Н.Э. Баумана, 2009. 541 с.
34
3. Орлов А.И. Эконометрика. Ростов н/Д: Феникс,
2009. 572 с.
4. Математическое моделирование процессов налого-
обложения (подходы к проблеме)/ А.И. Орлов, М.А. Кас-
тосов, Н.Ю. Иванова и др. М.: Изд-во ЦЭО Минобразования
РФ, 1997. 232 с.
5. Орлов А.И. Высокие статистические технологии //
Заводская лаборатория. 2003. Т. 69. № 11. С. 55–60.
6. Орлов А.И. Математическое обеспечение сертифи-
кации: сравнительный анализ диалоговых систем по стати-
стическому контролю // Заводская лаборатория. 1996. Т. 62.
№ 7. С. 46—49.
7. Орлов А.И. Распространенная ошибка при использо-
вании критериев Колмогорова и омега-квадрат // Заводская
лаборатория. 1985. Т. 51. №1. С. 60—62.
8. Никитина Е.П., Фрейдлина ______________В.Д., Ярхо А.В. Коллекция
определений термина «статистика». М.: МГУ, 1972. 46 с.
9. Орлов А.И. О развитии прикладной статистики //
Современные проблемы кибернетики (прикладная стати-
стика). М.: Знание, 1981. С. 3—14.
10. Большев Л.Н., Смирнов Н.В. Таблицы математиче-
ской статистики. М.: Наука, 1983. 416 с.
11. Плошко Б.Г., Елисеева И.И. История статистики. М.:
Финансы и статистика. 1990. 295 с.
12. Кудлаев Э.М., Орлов А.И. Вероятностно-статисти-
ческие методы исследования в работах А.Н. Колмогорова //
Заводская лаборатория. 2003. Т. 69. № 5. С. 55—61.
13. Орлов А.И. Математические методы исследования в
работах Бориса Владимировича Гнеденко // Заводская ла-
боратория. 2007. Т. 73. №7. С. 66—72.
14. Смирнов Н.В. Теория вероятностей и математиче-
ская статистика: Избранные труды. М.: Наука, 1970. 289 с.
15. Kotz S., Smith K. The Hausdorff Space and Applied Statistics:
A View from USSR // The American Statistician. November
1988. Vol. 42. No 4. Р. 241—244.
35
16. Вероятность и математическая статистика. Энци-
клопедия / Под ред. Ю.В. Прохорова. М.: Большая Российская
Энциклопедия, 1999. 910 с.
17. Орлов А.И. Устойчивость в социально-экономичес-
ких моделях. М.: Наука, 1979. 296 с.
18. Орлов А.И. Организационно-экономическое моде-
лирование: В 3 ч. Ч. 2: Экспертные оценки. М.: Изд-во
МГТУ им. Н.Э. Баумана. 2011. 486 с.
19. Неуймин Я.Г. Модели в науке и технике. История,
теория, практика. Л.: Наука, 1984. 190 с.
36
Часть I
Основные постановки задач
анализа данных
37
Глава 1. Выборочные исследования
Термин «выборочные исследования» применяют, когда
невозможно изучить все элементы представляющей инте-
рес совокупности. Приходится знакомиться с частью сово-
купности, т. е. с выборкой, а затем с помощью вероятност-
но-статистических методов и моделей переносить выводы,
сделанные при рассмотрении выборки, на совокупность в
целом. Выборочные исследования включают в себя спосо-
бы получения и анализа статистических данных, поэтому
составляют важный раздел статистических методов, эконо-
метрики и прикладной статистики [1].
1.1. Организация выборочных исследований
В качестве примера рассмотрим выборочные исследо-
вания предпочтений потребителей, которые часто проводят
специалисты по маркетингу (изучению рынка).
Оценка функции спроса. Функция спроса часто встре-
чается в учебниках по экономической теории, при этом
обычно не рассказывается, как она получена. Однако оце-
нить ее по эмпирическим данным не так уж трудно. На-
пример, можно выяснить ожидаемый спрос с помощью
простого приема: узнать у потенциальных потребителей,
какую максимальную цену они готовы заплатить за опре-
деленный товар. Пусть выборка состоит из 20 опрошенных
потребителей, которые назвали следующие максимально
допустимые для них цены, руб.: 40; 25; 30; 50; 35; 20; 50;
32; 15; 40; 20; 40; 45; 30; 50; 25; 35; 20; 35; 40.
Упорядочим приведенные значения в порядке возрас-
тания и сведем их в табл. 1.1. В первом столбце указаны
номера различных значений, названных потребителями, во
73
Глава 2. Описание данных
Выделяют три основные области статистических мето-
дов обработки результатов наблюдений — описание дан-
ных, оценивание (характеристик и параметров распределе-
ний, регрессионных зависимостей и др.) и проверка стати-
стических гипотез.
Величины, используемые при описании данных, приме-
няют на дальнейших этапах статистического анализа —
оценивании и проверке гипотез, а также при решении за-
дач, возникающих при применении вероятностно-статис-
тических методов принятия решений, например при стати-
стическом контроле качества продукции и статистическом
регулировании технологических процессов.
2.1. Модели порождения данных
Статистические данные — результаты наблюдений (из-
мерений, испытаний____________, опытов, анализов). Функции резуль-
татов наблюдений, используемые, в частности, для оценки
параметров распределений и (или) проверки статистиче-
ских гипотез, называют статистиками*. Если в вероятност-
ной модели результаты наблюдений рассматривают как
случайные величины (случайные элементы), то статистики
как функции случайных величин (элементов) являются
случайными величинами (элементами). Статистики — вы-
борочные аналоги характеристик случайных величин (ма-
тематического ожидания, медианы, дисперсии, моментов и
__________
* С точки зрения математиков, речь идет об измеримых функ-
циях.
103
Глава 3. Оценивание
При применении статистических методов необходимо
оценивать параметры распределений, функции распределе-
ния и их плотности, зависимости между переменными и
другие составляющие организационно-экономических мо-
делей. Часто используют модели на основе параметриче-
ских семейств распределений, в которых следует оценить
значение параметра распределения. Методы статистическо-
го оценивания определяются применяемой моделью. В гл. 3
рассмотрено ____________оценивание параметров, а также оценивание
путем решения экстремальных статистических задач, к ко-
торым сводятся многие постановки прикладной статистики,
и робастные (устойчивые) методы оценивания, в том числе
по сгруппированным данным.
3.1. Методы оценивания параметров
Некоторые статистические методы основаны на пара-
метрических моделях. Термин «параметрический» означает
следующее: вероятностно-статистическая модель полно-
стью описывается конечномерным вектором фиксирован-
ной размерности. Причем размерность не зависит от объе-
ма выборки. Далее приведены примеры методов оценива-
ния, используемых в параметрических моделях.
Рассмотрим выборку x1, x2, …, xn из распределения с
плотностью f (x; θ0), где f (x; θ0) — элемент параметриче-
ского семейства плотностей распределения вероятностей
{ f (x; θ), θ∈Θ}; Θ — k-мерное пространство параметров,
являющееся подмножеством евклидова пространства Rk;
конкретное значение параметра θ0 неизвестно. Обычно в
160
Глава 4. Проверка гипотез
Глава посвящена одному из основных разделов стати-
стических методов — избранным задачам проверки стати-
стических гипотез. Разработан метод моментов, реализо-
ванный на примере гипотезы согласия с гамма-распре-
делением. Продемонстрирована крайняя неустойчивость
параметрических методов отбраковки выбросов, приводя-
щая к выводу о невозможности их научно обоснованного
использования. Изложена проблема множественных прове-
рок статистических гипотез, актуальная при разработке вы-
соких статистических технологий анализа данных.
4.1. Метод моментов проверки гипотез
Как уже было отмечено в гл. 3, к методу моментов от-
носят все статистические процедуры, основанные на ис-
пользовании выборочных моментов и их функций. В непа-
раметрической статистике на основе выборочных моментов
проводится точечное и интервальное оценивание таких ха-
рактеристик распределения, как математическое ожидание,
дисперсия, среднее квадратическое отклонение, коэффици-
ент вариации (см. гл. 5). Для проверки гипотез в непара-
метрической статистике также используется метод момен-
тов. Пример — критерий Крамера — Уэлча для проверки
равенства математических ожиданий по двум независимым
выборкам.
В практике применения статистических методов (со-
гласно классическим схемам параметрической статистики)
довольно часто возникает необходимость проверки гипоте-
зы о принадлежности функции распределения результатов
182
Часть ІІ
Конкретные статистические
методы
183
Глава 5. Статистические методы
анализа числовых выборок
Рассмотрено несколько типовых задач анализа число-
вых данных, часто встречающихся при применении стати-
стических методов в различных областях научных исследо-
ваний и отраслях народного хозяйства. В настоящей главе
выборка моделируется как совокупность независимых оди-
наково распределенных числовых случайных величин с
произвольной функцией распределения.
5.1. Оценивание основных характеристик
распределения
Существенная часть алгоритмов статистического анали-
за данных исходит из предположения о нормальности рас-
пределения результатов наблюдений. Как уже было отме-
чено (см. гл. 2), распределения погрешностей физических
измерений, как правило, отличны от нормальных распреде-
лений. Вследствие наличия отклонений от нормальности
свойства алгоритмов могут в одних случаях изменяться
сравнительно слабо, как при проверке гипотезы однород-
ности математических ожиданий для выборок равного объ-
ема. В других случаях изменения свойств таковы, что алго-
ритмы из научных переходят в эвристические. Например,
свойства алгоритмов отбраковки выбросов (резко выде-
ляющихся наблюдений) крайне неустойчивы по отноше-
нию к отклонениям от нормальности: если зафиксировать
правило отбраковки, то крайне неустойчив уровень значи-
мости, а если зафиксировать уровень значимости, то крайне
246
Глава 6. Многомерный статистический
анализ
В многомерном статистическом анализе выборка состо-
ит из элементов многомерного пространства. Отсюда и
название этого раздела статистических методов. Из многих
задач многомерного статистического анализа рассмотрены
основные задачи корреляции, восстановления зависимости,
индексы.
6.1. Коэффициенты корреляции
Термин «корреляция» означает связь. В области стати-
стических методов этот термин обычно используется в сло-
восочетании «коэффициенты корреляции». Рассмотрим ли-
нейные и непараметрические парные коэффициенты кор-
реляции как способы измерения связи двух случайных
переменных.
Исходные данные — набор случайных векторов (xi,yi) =
=(xi(ω),yi(ω)),i=1, 2, ..., n. Выборочным коэффициен-
том корреляции, или выборочным линейным парным
коэффициентом корреляции Пирсона, называется число
1
2 2
1 1
( )( )
.
( ) ( )
n
i i
i
n n n
i i
i i
x x y y
r
x x y y
=
= =
− −
=
− −
Σ
Σ Σ
При rn = 1 yi=axi+b, причем a > 0. Если rn = –1, то
yi=axi+b, причем a < 0. Таким образом, близость коэф-
295
Глава 7. Статистические методы анализа
динамики
Анализ динамики — это анализ временных рядов. Под
временными рядами понимают детерминированные или
случайные функции времени. Время предполагается дис-
кретным, в противном случае говорят о случайных процес-
сах, а не о временных рядах.
7.1. Методы анализа и прогнозирования
временных рядов
Модели стационарных и нестационарных времен-
ных рядов. Пусть t = 0, ±1, ±2, ±3, ... Сначала рассмот-
рим временной ряд X(t), который принимает числовые зна-
чения (цена на хлеб или курс обмена доллара на рубли).
Обычно в поведении временного ряда выявляют две основ-
ные тенденции — тренд и периодические колебания.
Под трендом понимают зависимость X(t) от времени
линейного, квадратичного или другого типа, которую вы-
являют тем или иным способом эмпирического сглажива-
ния (например, экспоненциального) либо ____________модельно-расчет-
ным путем, в частности с помощью метода наименьших
квадратов. Другими словами, тренд — очищенная от слу-
чайностей основная тенденция временного ряда.
Временной ряд обычно колеблется вокруг тренда, при-
чем отклонения от тренда часто обнаруживают правиль-
ность. В основном это связано с естественной или назна-
ченной периодичностью — сезонной или недельной, ме-
сячной или квартальной (например, в соответствии с
318
Часть III
Вероятностно-статистическое
моделирование
319
Глава 8. Основы вероятностно-
статистического
моделирования
Рассмотрена устойчивость статистических выводов,
разработана общая схема устойчивости и предложен прин-
цип уравнивания погрешностей. Приведены примеры веро-
ятностно-статистического моделирования в демографии,
логистике, истории и электротехнике.
8.1. Основные понятия теории
вероятностно-статистического
моделирования
Модель (обобщенная модель) — создаваемый в целях
получения и (или) хранения информации специфический
объект (в форме мысленного образа, описания знаковыми
средствами либо материальной системы), который отража-
ет свойства, характеристики и связи объекта-оригинала
____________произвольной природы, существенные для задачи, решае-
мой субъектом [1]. Модели часто описываются словами
или формулами, алгоритмами и иными математическими
средствами.
Математические модели. Как правило, при более тща-
тельном анализе явления или процесса словесных моделей
недостаточно. Необходимо применение сложных матема-
тических моделей. Так, при принятии решений в менедж-
менте производственных систем используются модели:
• технологических процессов (модели контроля и
управления);
426
Глава 9. Статистические модели
динамики
Рассмотрен метод компьютерно-статистического моде-
лирования (далее метод ЖОК*) для оценки результатов
влияния описывающих ситуацию факторов на итоговые
показатели и друг на друга. Такой метод позволяет полу-
чать выводы, полезные для управления различными струк-
турами на микро- и макроуровнях — от бригад и предпри-
ятий до государства в целом. В методе используется модель
многомерного временного ряда, у которой коэффициенты
непосредственного влияния факторов друг на друга и на-
чальные условия задаются экспертами.
9.1. Метод компьютерно-статистического
моделирования результатов взаимовлияний
факторов
Опишем основные составляющие компьютерно-статис-
тического метода и результаты его практического приме-
нения.
1. Определение экспертным путем списка факторов, ко-
торые необходимо учитывать при анализе конкретной си-
туации. В качестве примера рассмотрим типовое промыш-
__________
* Метод ЖОК получил название по первым буквам фамилий
основных разработчиков — В.Н. Жихарева, А.И. Орлова,
В.Г. Кольцова. Опыт практического применения этого метода
описан в работах [6, 7]. Метод ЖОК развивает идеи когнитив-
ного подхода при решении слабоструктурированных задач, раз-
работанного в Институте проблем управления РАН [8, 9], но на
основе иного математического обеспечения.
477
Глава 10. Статистические модели
управления качеством
Одна из наиболее важных областей применения стати-
стических методов — обеспечение качества, основанное на
применении статистического моделирования. Статистиче-
ским методам управления качеством и посвящена настоящая
глава. Приведены общие сведения о месте статистических
методов в принятии решений при управлении качеством и
сертификации продукции. Рассмотрен ____________статистический кон-
троль качества и продемонстрирована его высокая экономи-
ческая эффективность.
10.1. Основы статистического контроля
качества
Статистические методы сертификации в России.
Методы статистики — именно то средство, которое необ-
ходимо изучить, чтобы внедрить управление качеством.
Они — наиболее важная составная часть комплексной сис-
темы всеобщего управления качеством на фирме. В япон-
ских корпорациях все, начиная от председателя совета ди-
ректоров и до рядового рабочего в цехе, обязаны знать хотя
бы основы статистических методов [1].
Сертификация — официальная гарантия поставки
производителем продукции, удовлетворяющей установлен-
ным требованиям. Поставщики и продавцы должны иметь
сертификаты качества на предлагаемые ими товары и услу-
ги. Маркетинг включает в себя работы по сертификации.
Существует несколько уровней сертификации. Говоря о
сертификации продукции, могут иметь в виду качество ее
526
Глава 11. Статистические модели
в медицине
Рассмотрена организация клинико-статистических ис-
следований и экспериментов, приведены примеры приме-
нения статистических методов в научных медицинских ис-
следованиях.
11.1. Клинико-статистические исследования
Под клинико-статистическими исследованиями по-
нимают специально организованный сбор и анализ меди-
цинских данных о течении заболеваний у пациентов, о ди-
намике объективных и субъективных показателей их состо-
яния, о реакции на те или иные лечебные воздействия.
Исследуются одна или более групп лиц (больных или здоро-
вых), выводы делаются по группам в целом, а не по каждому
конкретному пациенту. Цель исследований — перенести вы-
воды, сделанные для выборки, на генеральную совокуп-
ность, т. е. клинико-статистическое исследование ориенти-
ровано на получение полезных рекомендаций, касающихся
тех пациентов, которые попадут в поле зрения врачей после
окончания исследования. Таким образом, имеется потенци-
альное противоречие интересов практикующего врача и
научного работника, проводящего клинико-статистическое
исследование. Первый заинтересован оказать наилучшую
возможную помощь каждому пациенту, а второй разрабаты-
вает рекомендации для будущих больных.
Сбор данных и карта больного. Информация о каж-
дом отдельном пациенте обычно содержится в его истории
563
Глава 12. Статистические методы
в социологии
Социология (от лат. societas — общество и греч.
logos — учение) — наука об обществе как целостной сис-
теме и об отдельных социальных институтах, процессах,
социальных группах и общностях, отношениях личности и
общества, закономерностях массового поведения людей.
Среди общественных отношений важное место занимают
экономические отношения.
Проанализирована динамика развития статистического
инструментария социологов, рассмотрено применение тео-
рии люсианов для анализа дихотомических данных, методов
анализа сгруппированных данных и принципа уравнивания
погрешностей, сделаны полезные выводы для теории управ-
ления запасами. Методы социометрии изложены примени-
тельно к управлению малыми группами людей.
12.1. Развитие статистического инструментария
социологов
Принципиальный прорыв в развитии статистического
инструментария произошел в СССР в 1970-е гг. Именно то-
гда в арсенале отечественных социологов появились теория
измерений и теория нечетких множеств, математические ме-
тоды классификации и многомерное шкалирование, непара-
метрическая статистика и статистика нечисловых данных.
В дальнейшие десятилетия шло естественное развитие науч-
ного аппарата. К сожалению, нельзя утверждать, что в по-
следние годы темпы этого развития усилились. Постепенно
624
Учебное издание
Орлов Александр Иванович
ОРГАНИЗАЦИОННО-ЭКОНОМИЧЕСКОЕ
МОДЕЛИРОВАНИЕ
Часть 3
СТАТИСТИЧЕСКИЕ МЕТОДЫ АНАЛИЗА ДАННЫХ
Редактор А.С. Водчиц
Технический редактор Э.А. Кулакова
Корректор О.В. Калашникова
Художник Н.Г. Столярова
Компьютерная графика В.А. Филатовой
Компьютерная верстка И.А. Марковой
Оригинал-макет подготовлен
в Издательстве МГТУ им. Н.Э. Баумана.
Санитарно-эпидемиологическое заключение
№ 77.99.60.953.Д.003961.04.08 от 22.04.2008 г.
Подписано в печать 23.05.12. Формат 84×108 1/32.
Усл. печ. л. 32,76. Тираж 500 экз. Заказ
Издательство МГТУ им. Н.Э. Баумана.
105005, Москва, 2-я Бауманская ул., д. 5, стр. 1.
E-mail: press@bmstu.ru
http://www.baumanpress.ru
Отпечатано в типографии МГТУ им. Н.Э. Баумана.
105005, Москва, 2-я Бауманская, 5, стр. 1.
E-mail: baumanprint@gmail.com
ISBN 978 5 7038 3566 1
9 785703 835661__